Karlsruhe trở thành một tàu huấn luyện và đã thực hiện chuyến đi quanh thế giới, nhưng sự yếu kém trong kết cấu lườn tàu buộc nó phải được sửa chữa kết cấu và tái trang bị tại San Diego trong chuyến đi. Trong những năm 1930, chiếc tàu tuần dương thực hiện một số chuyến đi huấn luyện ở nước ngoài cùng một số hoạt động hạm đội. Vào tháng 1 và tháng 2 năm 1937, nó tuần tra dọc theo bờ biển Tây Ban Nha và Bồ Đào Nha vào lúc diễn ra cuộc Nội chiến Tây Ban Nha.

Vào đầu tháng 4 năm 1940, Karlsruhe tham gia Chiến dịch Weserübung, cuộc tấn công chiếm đóng Na Uy. Nó nằm trong thành phần Đội đặc nhiệm 4 cùng với các tàu phóng lôi Seeadler, Greif và Luchs đảm nhiệm việc vận chuyển binh lính, và đã tiến đến Kristiansand, Na Uy vào những giờ đầu tiên của ngày 9 tháng 4. Trong chuyến quay trở về Đức ngay buổi chiều tối hôm đó, tàu ngầm Anh Truant đã tấn công Karlsruhe ngoài khơi Kristiansand, đánh trúng nó bằng một quả ngư lôi làm hư hại cả hai động cơ và máy phát điện. Tàu phòng ngư lôi Greif đã vớt những người còn sống sót trong số thủy thủ đoàn, rồi đánh chìm con tàu bị hư hại với hai quả ngư lôi lúc 22 giờ 50 phút đêm hôm đó.